|
|
1.
模型驱动的大数据流水线框架PiFlow
朱小杰, 赵子豪, 杜一
计算机应用
2020, 40 (6):
1638-1647.
DOI: 10.11772/j.issn.1001-9081.2019101793
复杂流程的大数据处理多依托于流水线系统，但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题，为提高大数据处理环境的构建与开发效率,优化处理流程，提出了一种模型驱动的大数据流水线框架PiFlow。首先，将大数据处理过程抽象为有向无环图；然后，开发一系列组件用于构建数据处理流水线，并设计了流水线任务执行机制。同时，为规范和简化流水线框架的描述，设计了基于模型驱动的大数据流水线描述语言——PiFlowDL，该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线，集成了状态监控、模板配置、组件集成等功能，与Apache NiFi相比有2~7倍的性能提升。
参考文献 |
相关文章 |
多维度评价
|
|
